package study.core.rdd

import org.apache.spark.{SparkConf, SparkContext}

/**
 * rdd设置分区数
 *
 * @author zh
 * @date 2021/5/15 09:07
 */
object RddPartNum {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("createRdd")
    val context = new SparkContext(sparkConf)

    // 准备集合
    val list = List(1,2,3,4)
    // 创建RDD
    // 第二个参数默认是从SparkConf中取spark.default.parallelism，如果没有则使用电脑的CPU核数
    // scheduler.conf.getInt("spark.default.parallelism", totalCores)
    val rdd = context.makeRDD(list,2)

    // 将数据根据分区保存
    rdd.saveAsTextFile("output")

    context.stop()
  }
}
